联邦学习（FL）已成为解决消费者隐私需求的有效方法。 FL已成功应用于某些机器学习任务，例如训练智能键盘模型和关键字发现。尽管FL最初取得了成功，但许多重要的深度学习用例（例如排名和推荐任务）受到了设备学习的限制。实际采用基于DL的排名和建议所面临的主要挑战之一是现代移动系统无法满足的高度资源要求。我们建议联合合奏学习（FEL）作为解决深度学习排名和推荐任务的庞大记忆要求的解决方案。 FEL通过同时在客户端设备的分离群中训练多个模型版本，从而实现大规模排名和建议模型培训。 FEL通过拱门层将受过训练的子模型集成到服务器上托管的集合模型中。我们的实验表明，与传统的联合学习设备相比，FEL导致0.43-2.31％的模型质量改进 - 对排名和建议系统用例的重大改进。
translated by 谷歌翻译
交叉设备联合学习（FL）是一种分布式学习范例，具有几种挑战，这些挑战将其区分离为传统的分布式学习，每个设备上的系统特征的可变性，以及数百万客户端与主要服务器协调。文献中描述的大多数FL系统是同步的 - 它们从各个客户端执行模型更新的同步聚合。缩放同步FL是挑战，因为增加了并行培训的客户数量导致训练速度的回报递减，类似于大批培训。而且，陷阱妨碍了同步流动训练。在这项工作中，我们概述了一种生产异步流行系统设计。我们的工作解决了上述问题，一些系统设计挑战及其解决方案的草图，并触及了为数百万客户建立生产流系统的原则。凭经验，我们证明异步流量在跨越近一亿台设备时比同步液更快地收敛。特别地，在高并发设置中，异步FL速度快5倍，并且具有比同步FL更小的通信开销差距。
translated by 谷歌翻译
我们介绍了一个免费的开源的Pytorch库，用于培训具有差异隐私的深度学习模型（在Https://opacus.ai托管）。遮光罩是为了简单，灵活性和速度而设计的。它提供了一个简单和用户友好的API，并使机器学习从业者能够通过向其代码添加两条线来制作培训管道私有。它支持各种各样的层，包括多主题注意，卷积，LSTM和嵌入框，它还提供了支持其他用户定义的图层的手段。遮光罩计算的每个样本梯度批量，与传统的“微批量”方法相比，提供更好的效率。在本文中，我们介绍了opacus，详细介绍了推动其实现和独特功能的原则，并将其对ML中差别隐私的其他框架进行比较。
translated by 谷歌翻译
可扩展性和隐私是交叉设备联合学习（FL）系统的两个关键问题。在这项工作中，我们确定了FL中的客户端更新的同步流动聚合不能高效地缩放到几百个并行培训之外。它导致ModelPerforce和训练速度的回报递减，Ampanysto大批量培训。另一方面，FL（即异步FL）中的客户端更新的异步聚合减轻了可扩展性问题。但是，聚合个性链子更新与安全聚合不兼容，这可能导致系统的不良隐私水平。为了解决这些问题，我们提出了一种新颖的缓冲异步聚合方法FedBuff，这是不可知的优化器的选择，并结合了同步和异步FL的最佳特性。我们经验证明FEDBuff比同步FL更有效，比异步FL效率更高3.3倍，同时兼容保留保护技术，如安全聚合和差异隐私。我们在平滑的非凸设置中提供理论融合保证。最后，我们显示在差异私有培训下，FedBuff可以在低隐私设置下占FEDAVGM并实现更高隐私设置的相同实用程序。
translated by 谷歌翻译
We present the first neural network model to achieve real-time and streaming target sound extraction. To accomplish this, we propose Waveformer, an encoder-decoder architecture with a stack of dilated causal convolution layers as the encoder, and a transformer decoder layer as the decoder. This hybrid architecture uses dilated causal convolutions for processing large receptive fields in a computationally efficient manner, while also benefiting from the performance transformer-based architectures provide. Our evaluations show as much as 2.2-3.3 dB improvement in SI-SNRi compared to the prior models for this task while having a 1.2-4x smaller model size and a 1.5-2x lower runtime. Open-source code and datasets: https://github.com/vb000/Waveformer
translated by 谷歌翻译
我们介绍并讨论了一个运行时体系结构，该架构将感官数据和分类器与基于逻辑的决策系统集成在一起，并在电子健康系统的背景下，用于康复神经运动障碍儿童。在此应用程序中，儿童以游戏的形式执行康复任务。该系统的主要目的是从可用的传感器和分类器（例如，眼镜跟踪器，运动传感器，情感识别技术）中得出一组儿童当前的认知和行为表现（例如参与，注意力，任务准确性）的参数。 ）并做出相应的决定。这些决策通常旨在通过在注意力较低时触发适当的重新参与刺激，改变游戏或使孩子对任务失去兴趣时的困难来改善孩子的表现，因为它太容易了。除了对情绪识别和头部姿势估计的最新技术外，我们还使用了事件计算的概率和认知逻辑编程方言的运行时变体，称为认识论概率概率事件。特别是，该符号框架的概率组成部分允许与机器学习技术的自然接口。我们概述了体系结构及其组件，并通过讨论运行的示例和实验来展示其一些特征。正在考虑逻辑编程理论和实践（TPLP）的出版物。
translated by 谷歌翻译
尽管在许多控制任务中进行了大量的应用和深入的强化学习的成功，但它仍然存在许多关键问题和局限性，包括具有稀疏奖励的时间信用分配，缺乏有效的探索以及对对超级参数的脆弱融合，这对超级参与者非常敏感问题。持续控制中深厚的强化学习的问题以及进化算法在面对其中一些问题方面的成功，已经出现了进化增强学习的想法，这引起了许多争议。尽管在该领域的一些研究中取得了成功的结果，但针对这些问题及其局限性的适当解决方案尚待提出。本研究旨在研究进一步加强强化学习和进化计算的两个领域的效率，并朝着改善方法和现有挑战迈出一步。 “使用精英缓冲液的进化深度强化学习”算法通过互动学习能力和人脑中的假设结果的灵感引入了一种新的机制。在这种方法中，精英缓冲液的利用（这是受到人类思想的经验概括的启发），以及跨界和突变操作员的存在，以及连续一代的交互式学习，具有提高的效率，收敛性和收敛性，收敛性和在连续控制领域的正确进步。根据实验的结果，所提出的方法超过了具有高复杂性和维度的环境中的其他知名方法，并且在解决上述问题和局限性方面表现出色。
translated by 谷歌翻译
本作者在较早的论文中介绍和研究了上方的粗糙集。在这项研究中，她在两个不同的粒状方向上扩展了这一点，具有令人惊讶的代数语义。颗粒是基于在上指导性下广义封闭的思想，可能被理解为一种弱结果的形式。这产生了满足谨慎单调的近似算子，而pi-groupoidal近似（另外涉及战略选择和代数运算符）具有更好的特性。这项研究主要是由分布式认知观点，真实或虚拟课堂学习环境以及以学生为中心的教学中的概念结构的动机。还提出了涉及上定向关系的数据集的粗糙聚类技术（如Sentinel项目图像数据）。预计这项研究将在相关领域中看到重要的理论和实际应用。
translated by 谷歌翻译
静息状态脑功能活性对非成像表型的单个主体映射是神经影像学的主要目标。当今应用的绝大多数学习方法都取决于静态表示或短期时间相关性。这与动态性的大脑活动性质不符，并且表现出短期和长期依赖性。此外，在单个任务/数据集上已经开发并验证了新的复杂的深度学习方法。这些模型在研究不同目标的研究中的应用通常需要详尽的超参数搜索，模型工程以及反复试验，以通过更简单的线性模型获得竞争结果。反过来，这限制了他们在快速发展的研究领域中的采用和阻碍公平的基准测试。为此，我们提出了fMRI-S4；一种用于分类表型和精神疾病的多功能深度学习模型，该模型来自静止状态功能磁共振成像扫描时间的时间。 fMRI-S4使用1D卷积和最近引入的状态空间模型S4捕获信号中的短距离和长范围时间依赖性。所提出的体系结构在任务/数据集中具有轻巧，样本效率且健壮。我们在三个多站点RS-FMRI数据集上验证了fMRI-S4诊断重大抑郁症（MDD），自闭症谱系障碍（ASD）和性别分类的任务。我们证明fMRI-S4可以在所有三个任务上均优于现有方法，并且可以作为插件和游戏模型进行培训，而无需针对每种设置进行特殊的超散件调整
translated by 谷歌翻译
哪种结构可以使学习者能够从未标记的数据中发现类？传统方法取决于功能空间的相似性和对数据的英勇假设。在本文中，我们在潜在标签换档（LLS）下介绍了无监督的学习，我们可以从多个域中访问未标记的数据，以便标签边缘$ p_d（y）$可以跨域变化，但是类有条件的$ p（\ mathbf） {x} | y）$不。这项工作实例化了识别类别的新原则：将分组分组的元素。对于有限输入空间，我们在LLS和主题建模之间建立了同构：输入对应于单词，域，文档和标签与主题。解决连续数据时，我们证明，当每个标签的支持包含一个可分离区域时，类似于锚词，Oracle访问$ P（d | \ Mathbf {x}）$足以识别$ p_d（y）$和$ p_d（ y | \ mathbf {x}）$ for排列。因此，我们引入了一种实用算法，该算法利用域 - 歧义模型如下：（i）通过域歧视器$ p（d | \ mathbf {x}）推动示例； （ii）通过$ p（d | \ mathbf {x}）$ space中的聚类示例来离散数据； （iii）对离散数据执行非负矩阵分解； （iv）将回收的$ P（y | d）$与鉴别器输出$ p（d | \ mathbf {x}）$结合在一起计算$ p_d（y | x）\; \ forall d $。通过半合成实验，我们表明我们的算法可以利用域信息来改善无监督的分类方法。当功能空间相似性并不表示真实分组时，我们揭示了标准无监督分类方法的故障模式，并从经验上证明我们的方法可以更好地处理这种情况。我们的结果建立了分销转移与主题建模之间的密切联系，为将来的工作开辟了有希望的界限。
translated by 谷歌翻译